हाल ही में, VLM-R1 परियोजना की सफल शुरुआत ने इस क्षेत्र में नई आशा जगाई है। यह परियोजना DeepSeek टीम की R1 विधि का विज़ुअल लैंग्वेज मॉडल में सफल रूपांतरण है, जिसका अर्थ है कि एआई विज़ुअल सामग्री को समझने के लिए एक नए चरण में प्रवेश करेगा। VLM-R1 की प्रेरणा पिछले वर्ष DeepSeek द्वारा ओपन-सोर्स की गई R1 विधि से मिली, जो GRPO (जनरेटिव रिवार्ड प्रोसेसिंग ऑप्टिमाइजेशन) सुदृढीकरण का उपयोग करती है।

कृत्रिम बुद्धिमत्ता तकनीक के निरंतर विकास के साथ, दृश्य और टेक्स्ट डेटा का融合 एक जटिल चुनौती बन गया है। पारंपरिक मॉडल अक्सर टेबल, चार्ट, इन्फोग्राफिक्स और चित्रित संरचित दृश्य दस्तावेज़ों को सही ढंग से解析 करने में असमर्थ होते हैं, यह सीमा स्वचालित सामग्री निकासी और समझने की क्षमता को प्रभावित करती है, और इस प्रकार डेटा विश्लेषण, सूचना पुनर्प्राप्ति और निर्णय लेने जैसे अनुप्रयोगों को प्रभावित करती है। इस मांग का सामना करते हुए, IBM ने हाल ही में Granite-Vision-3.1-2B जारी किया, जो दस्तावेज़ समझने के लिए डिज़ाइन किया गया एक छोटा विज़ुअल लैंग्वेज मॉडल है। Granite-Visi

हाल ही में, सिएटल की एक स्टार्टअप कंपनी Moondream ने moondream2 नामक कॉम्पैक्ट विज़ुअल लैंग्वेज मॉडल लॉन्च किया है। यह मॉडल भले ही छोटा है, लेकिन सभी बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन कर रहा है और काफी ध्यान आकर्षित कर रहा है। एक ओपन-सोर्स मॉडल के रूप में, moondream2 को स्मार्टफोन पर स्थानीय छवि पहचान कार्यक्षमता लागू करने की उम्मीद है। moondream2 का आधिकारिक तौर पर मार्च में लॉन्च किया गया था, और यह मॉडल टेक्स्ट और इमेज इनपुट को संसाधित करने में सक्षम है, जैसे प्रश्नों का उत्तर देना, टेक्स्ट निकासी (OCR), वस्तुओं की गणना और वस्तुओं की वर्गीकरण।

2 सितंबर को, टोंगय कियानवेन ने अपने दूसरे पीढ़ी के विज़ुअल लैंग्वेज मॉडल Qwen2-VL को ओपन-सोर्स करने की घोषणा की, और अली क्लाउड बायलियन प्लेटफ़ॉर्म पर 2B, 7B आकार और उनके मात्रात्मक संस्करण मॉडल के API को लॉन्च किया, ताकि उपयोगकर्ता सीधे कॉल कर सकें। Qwen2-VL मॉडल ने कई मामलों में प्रदर्शन में व्यापक सुधार किया है। यह विभिन्न रिज़ॉल्यूशन और विभिन्न अनुपात वाले चित्रों को समझ सकता है, और DocVQA, RealWorldQA, MTVQA जैसे बेंचमार्क परीक्षणों में विश्व स्तर पर प्रमुख प्रदर्शन हासिल किया है।

अलीबाबा क्लाउड ने अगस्त में ओपन-सोर्स सामान्य मॉडल Qwen-7B के बाद विज़ुअल लैंग्वेज मॉडल Qwen-VL को भी ओपन-सोर्स किया। Qwen-VL चाइनीज और इंग्लिश के लिए चित्र शीर्षक निर्माण, चित्र प्रश्न उत्तर, और दस्तावेज़ प्रश्न उत्तर का समर्थन करता है। Qwen-VL चित्रों में खुले क्षेत्रीय दृश्य स्थापन में देशांक उपयोग के लिए चाइनीज सपोर्ट करता है।